Nel campo dell'Intelligenza Artificiale, la modellazione di sequenze sposta l'attenzione dalle istantanee statiche ai flussi temporali. I compiti standard di machine learning spesso assumono che i punti dati siano Indipendenti e Identicamente Distribuiti (IID), il che significa che l'ordine dei campioni non influenza il risultato.

La modellazione di sequenze rifiuta esplicitamente questo presupposto, concentrandosi su tre pilastri fondamentali:

• Violazione dell' Invarianza per Permutazione: Nei dati tabellari, l'ordine delle colonne è arbitrario. Nelle sequenze, l'ordine è la caratteristica principale. Scambiare "Il gatto ha mangiato il ratto" in "Il ratto ha mangiato il gatto" cambia fondamentalmente la verità fondamentale semantica nonostante i token identici.
• Proprietà Autoregressive: Assumiamo che un' osservazione al tempo $t$ sia matematicamente condizionata dalla sua storia ($t-1, t-2, \dots, 1$). Ciò comporta la necessità di probabilità di transizione per catturare come l'informazione evolve.
• Mappatura a Lunghezza Variabile: A differenza delle griglie fisse di pixel 28x28, le sequenze come frasi o onde sismiche sono elastiche. I modelli devono elaborare input di lunghezza $N$ e produrre output di lunghezza $M$ utilizzando parametri coerenti.